Pháo đài Raymond de Saint-Gilles lớn nhất Levant và là thành phố theo lối kiến trúc Mamluk lớn thứ hai sau Cairo. Thập tự quân đã thiết lập Bá quốc Tripoli vào năm 1102.

Đức vua Raymond IV của Toulouse là một trong những người giàu có và quyền lực nhất Thập tự chinh. Mặc dù vậy, sau cuộc Thập tự chinh đầu tiên, ông đã thất bại trong việc bảo vệ bất kỳ vùng đất nào ở Cận Đông. Trong khi đó, Quận Edessa, Vương quốc Hierosolymitanum và Công quốc Antioch đã được thành lập. Tripoli là một mục tiêu chiến lược quan trọng vì nó liên kết người Pháp ở phía nam với người Norman ở phía bắc. Đó là một khu vực màu mỡ và đông dân cư. Năm 1102, Raymond IV chiếm Tortosa (nay là Tartus) và năm 1103, ông chuẩn bị, cùng với các cựu chiến binh của cuộc thập tự chinh 1101, để chiếm Tripoli.

Trên một sườn núi tự nhiên, mà ông đặt là "Mons Peregrinus" (Núi Pilgrim), cách Tripoli 3 km (1,9 mi), Raymond IV (còn được gọi là Raymond de Saint-Gilles) bắt đầu xây dựng một lâu đài lớn, được biết đến bằng tiếng Ả Rập Qal'at Sanjil. Mặc dù có pháo đài mới này và đạo quân tinh nhuệ, cuộc vây hãm Tripoli của Raymond IV đã thất bại trong việc bảo vệ cảng. Ông qua đời vào ngày 25 tháng 2 năm 1105.